Die neue Ära der KI-Agentenund rechtliche Realitäten (Probleme)

Disclaimer: Keine Rechtsberatung, nur persönliche Meinung.

Der Drang, schnell innovative KI-Agenten-Lösungen auf den Markt zu bringen, trifft auf ein dichtes Netz aus Datenschutzgesetzen, Urheberrechtsfragen und Haftungsrisiken. Besonders wenn wir auf Cloud-basierte LLMs von großen US-Anbietern setzen, betreten wir ein Feld, das sorgfältige Navigation erfordert. Es ist ein ständiger Balanceakt zwischen dem Wunsch nach rasanter Innovation und der Notwendigkeit, rechtliche Rahmenbedingungen einzuhalten. Viele fühlen sich hier überfordert oder unsicher, wie sie die Chancen nutzen können, ohne sich in rechtlichen Fallstricken zu verheddern.

II. Der Datenschutz-Albtraum: DSGVO-Fallstricke bei US-LLMs

Kernproblem 1: Der Datentransfer in die USA (Drittlandtransfer, Art. 44 ff. DSGVO)

Der Einsatz von LLMs großer US-Anbieter wie Google, OpenAI oder Microsoft stellt uns vor eine zentrale Herausforderung: den Datentransfer in ein Drittland außerhalb der EU. Seit dem Schrems-II-Urteil des Europäischen Gerichtshofs gibt es keine pauschale “Sicherheitsgarantie” mehr für Datenübermittlungen in die USA. Die frühere Annahme eines angemessenen Datenschutzniveaus unter dem Privacy Shield wurde gekippt. Das bedeutet, jeder Datentransfer muss nun individuell auf seine Rechtmäßigkeit geprüft werden. Standardvertragsklauseln (SCCs), die von der EU-Kommission bereitgestellt werden, sind zwar ein wichtiger Baustein, aber sie allein reichen oft nicht aus. Unternehmen sind verpflichtet, zusätzlich ein sogenanntes Transfer Impact Assessment (TIA) durchzuführen. In diesem TIA muss bewertet werden, ob die SCCs im spezifischen Kontext des Ziellandes, insbesondere unter Berücksichtigung der dortigen Überwachungsgesetze, tatsächlich einen gleichwertigen Schutz wie in der EU gewährleisten können.

Das eigentliche Problem sind US-Gesetze wie der CLOUD Act oder FISA 702. Diese ermöglichen US-Behörden unter bestimmten Umständen den Zugriff auf Daten, die von US-Unternehmen gespeichert werden – auch wenn diese Daten auf Servern außerhalb der USA liegen oder EU-Bürger betreffen. Dies steht im direkten Widerspruch zu den Grundsätzen der DSGVO. Ein TIA muss dieses Risiko explizit adressieren und bewerten, ob zusätzliche technische oder organisatorische Maßnahmen (wie starke Verschlüsselung mit Schlüsselkontrolle beim EU-Unternehmen) das Risiko ausreichend mindern können.

Kernproblem 2: Unklare Rollen und Verantwortlichkeiten (Art. 4 Nr. 7, Art. 26, Art. 28 DSGVO)

Ein weiterer Stolperstein ist die korrekte Bestimmung der datenschutzrechtlichen Rollen. Wer ist Verantwortlicher (Controller), wer Auftragsverarbeiter (Processor) und wann liegt eine gemeinsame Verantwortlichkeit (Joint Controllership) vor? Die Selbsteinschätzung der LLM-Anbieter in ihren Vertragsunterlagen ist nicht immer maßgeblich und muss kritisch geprüft werden. Manchmal bezeichnen sich Anbieter als Controller für bestimmte Verarbeitungen, insbesondere wenn Daten auch für eigene Trainingszwecke genutzt werden.

Wenn der LLM-Anbieter als Auftragsverarbeiter für Dich tätig wird, ist ein Auftragsverarbeitungsvertrag (AVV) nach Art. 28 DSGVO zwingend erforderlich. Die Standard-AVVs der großen Anbieter sind oft sehr allgemein gehalten und entsprechen nicht immer vollumfänglich den spezifischen Anforderungen eines EU-Unternehmens oder den strengen Vorgaben der DSGVO. Hier ist oft Nachverhandlung oder zumindest eine sehr genaue Prüfung und Ergänzung notwendig.

Kernproblem 3: Zweckbindung und Datenminimierung (Art. 5 Abs. 1 lit. b, c DSGVO)

Die Grundsätze der Zweckbindung und Datenminimierung sind Eckpfeiler der DSGVO. Personenbezogene Daten dürfen nur für festgelegte, eindeutige und legitime Zwecke erhoben und verarbeitet werden. Außerdem darf nur die Menge an Daten verarbeitet werden, die für den jeweiligen Zweck tatsächlich erforderlich ist. Beim Einsatz von LLMs geraten diese Prinzipien schnell unter Druck. Oftmals enthalten die an die API gesendeten Prompts mehr personenbezogene Daten, als für die eigentliche Aufgabe des KI-Agenten nötig wäre – beispielsweise ganze E-Mail-Verläufe oder detaillierte Kundenanfragen in Support-Tickets.

Ein besonderes Risiko stellt das sogenannte “Mitlernen” der Modelle dar. Einige LLM-Anbieter behalten sich in ihren Nutzungsbedingungen vor, die übermittelten Daten auch für das Training und die Verbesserung ihrer eigenen Modelle zu verwenden oder für Benchmarking-Zwecke zu analysieren. Dies stellt eine Zweckänderung dar, die in der Regel nicht von der ursprünglichen Rechtsgrundlage für die Verarbeitung durch Dein Unternehmen gedeckt ist. Für eine solche Weiterverarbeitung wäre eine separate Rechtsgrundlage, meist eine explizite Einwilligung der Betroffenen, erforderlich. Ohne diese ist eine solche Nutzung durch den LLM-Anbieter unzulässig und kann für Dein Unternehmen zu erheblichen Problemen führen. Es ist daher unerlässlich, interne Richtlinien zu entwickeln (“Prompt Hygiene”), die festlegen, welche Daten in Prompts verwendet werden dürfen. Zudem sollten technische Maßnahmen wie Prompt Scrubber implementiert werden, die personenbezogene Daten vor der Übermittlung an das LLM automatisch maskieren oder pseudonymisieren. Verträge mit LLM-Anbietern müssen klare Klauseln enthalten, die eine Nutzung der Daten für deren eigene Zwecke ohne ausdrückliche Zustimmung ausschließen (“No Training / No Benchmarking”-Klauseln).

Kernproblem 4: Transparenz und Betroffenenrechte (Art. 12-22 DSGVO)

Transparenz ist ein Schlüsselprinzip der DSGVO. Nutzer und Betroffene müssen klar und verständlich darüber informiert werden, wie ihre personenbezogenen Daten verarbeitet werden. Beim Einsatz von LLM-basierten KI-Agenten, insbesondere von US-Anbietern wie Google Gemini, ist es eine Herausforderung, diese Informationspflichten (Art. 13, 14 DSGVO) umfassend zu erfüllen. Es muss dargelegt werden, welche Datenkategorien an welche Empfänger (den LLM-Anbieter) übermittelt werden, auf welcher Rechtsgrundlage dies geschieht, wie lange die Daten gespeichert werden und welche Risiken mit einem Drittlandtransfer verbunden sind.

Die Wahrnehmung von Betroffenenrechten, wie das Recht auf Auskunft (Art. 15 DSGVO) oder Löschung (Art. 17 DSGVO), wird in der Praxis oft kompliziert. Stell Dir vor, ein externer Dienstleister, dessen Daten im Rahmen eines Projekts über einen Gemini-basierten Agenten verarbeitet wurden, stellt ein Auskunftsbegehren. Nun musst Du in der Lage sein, innerhalb der Monatsfrist umfassend Auskunft zu erteilen. Das ist schwierig, wenn Du keinen vollständigen Überblick oder Zugriff auf die Verarbeitungslogs bei Google hast. Viele LLM-Anbieter speichern Prompt- und Response-Daten für eine gewisse Zeit (z.B. 30 Tage), oft in proprietären Systemen, auf die Du nur begrenzten oder keinen direkten Zugriff für selektive Löschungen hast.

Die Praxis-Fallstricke bei Auskunfts- oder Löschersuchen sind vielfältig:

• Fehlendes Logging: Prompts und Ergebnisse werden nicht revisionssicher bei Dir gespeichert.
• Proprietäre Cloud-Logs: Der LLM-Anbieter speichert Interaktionen, aber Du kannst nicht einfach Daten eines spezifischen Betroffenen extrahieren oder löschen.
• Unklare Rollenverteilung: Lief der Agent über das Konto des Dienstleisters oder über Deinen Account? Wer ist verantwortlich für die Auskunft?
• Drittlandtransfer-Problematik: Die Auskunft muss auch die Garantien für den Datentransfer in die USA umfassen.
• Fristdruck: Die Recherche und Zusammenstellung der Informationen innerhalb eines Monats ist oft kaum zu schaffen.

Diese Herausforderungen erfordern gut durchdachte Prozesse und technische Vorkehrungen.

Kernproblem 5: Fehlende Sicherheitsgarantien (Art. 32 DSGVO)

Nach Art. 32 DSGVO müssen Verantwortliche und Auftragsverarbeiter geeignete technische und organisatorische Maßnahmen (TOMs) treffen, um ein dem Risiko angemessenes Schutzniveau für personenbezogene Daten zu gewährleisten. Beim Einsatz von Cloud-basierten LLMs liegt ein Teil dieser Verantwortung beim Anbieter. Die Frage ist jedoch, ob dessen Standard-Sicherheitsmaßnahmen ausreichend sind und ob Du als Nutzer genügend Kontrolle darüber hast.

Ein kritischer Punkt ist die Verschlüsselung. Während Daten “at rest” (im Speicher) und “in transit” (während der Übertragung) meist verschlüsselt sind, ist entscheidend, wer die Kontrolle über die Schlüssel hat. Liegen die Schlüssel beim US-Anbieter, könnten US-Behörden im Rahmen von Gesetzen wie dem CLOUD Act potenziell Zugriff auf die entschlüsselten Daten erlangen. Die Möglichkeit, eigene Schlüssel zu verwenden (“Bring Your Own Key” – BYOK) oder Schlüssel durch den Kunden verwalten zu lassen (“Customer Managed Keys” – CMK), wird zwar von einigen Anbietern für bestimmte Dienste angeboten, ist aber nicht immer flächendeckend für alle LLM-APIs oder Nutzungsszenarien verfügbar oder ist mit zusätzlichen Kosten und Komplexität verbunden.

Es ist wichtig, die Sicherheitsdokumentation der LLM-Anbieter genau zu prüfen und zu bewerten, ob die angebotenen Maßnahmen den eigenen Schutzbedürfnissen und den Anforderungen der DSGVO genügen. Gibt es Zertifizierungen (z.B. ISO 27001, SOC 2)? Wie werden Zugriffsrechte verwaltet? Gibt es Audit-Logs? Diese Aspekte müssen im Rahmen Deines eigenen Risikomanagements und gegebenenfalls im TIA berücksichtigt werden. Oftmals sind zusätzliche, eigene Maßnahmen auf Deiner Seite notwendig, um die Sicherheit zu erhöhen und die Kontrolle zu behalten.

Kernproblem 6: Speicherdauer und Löschkonzepte (Art. 5 Abs. 1 lit. e, Art. 17 DSGVO)

Der Grundsatz der Speicherbegrenzung (Art. 5 Abs. 1 lit. e DSGVO) besagt, dass personenbezogene Daten nur so lange gespeichert werden dürfen, wie es für die Zwecke, für die sie verarbeitet werden, erforderlich ist. Das Recht auf Löschung (“Recht auf Vergessenwerden”, Art. 17 DSGVO) gibt Betroffenen unter bestimmten Voraussetzungen die Möglichkeit, die Löschung ihrer Daten zu verlangen. Beide Prinzipien stoßen beim Einsatz von LLMs auf praktische Hürden.

Viele LLM-Anbieter speichern Prompts und Outputs standardmäßig für einen bestimmten Zeitraum, oft 30 Tage oder länger, beispielsweise zur Fehleranalyse, zur Missbrauchserkennung oder – falls nicht explizit widersprochen – zur Verbesserung ihrer Modelle. Diese Speicherung durch den Anbieter muss eine Rechtsgrundlage haben und der Zweck muss transparent kommuniziert werden. Was aber, wenn Du als Nutzer oder Deine Betroffenen eine frühere Löschung wünschen oder benötigen? Die Möglichkeit, Daten selektiv und vorzeitig aus den Systemen des LLM-Anbieters zu löschen, ist nicht immer gegeben oder einfach umzusetzen. Oftmals gibt es nur globale Löschoptionen für ganze Accounts oder Projekte, was nicht praktikabel ist.

Diese dauerhafte oder längerfristige Speicherung bei Drittanbietern, über die Du keine volle Kontrolle hast, kann einen Verstoß gegen Art. 5 Abs. 1 lit. e DSGVO darstellen. Es ist daher entscheidend:

• Vertraglich klare Regelungen zur Speicherdauer und zu Löschpflichten des Anbieters zu vereinbaren.
• Optionen wie “Data-Logging Off” (z.B. bei Google Gemini via API-Header) zu nutzen, um die Speicherung von Nutzdaten durch den Anbieter zu minimieren.
• Eigene Logging- und Löschkonzepte zu implementieren, die es Dir ermöglichen, Deinen Pflichten nachzukommen, auch wenn der LLM-Anbieter dies nur eingeschränkt unterstützt.

Eine fehlende Kontrolle über die Löschung von Daten ist ein erhebliches Compliance-Risiko.

III. Jenseits der DSGVO: Weitere rechtliche Minenfelder

A. Schutz von Geschäftsgeheimnissen (GeschGehG)

Neben dem Datenschutz birgt der Einsatz von LLMs auch erhebliche Risiken für Deine Geschäftsgeheimnisse. Das Geschäftsgeheimnisgesetz (GeschGehG) schützt wertvolles Know-how, sofern angemessene Geheimhaltungsmaßnahmen getroffen wurden. Wenn Du nun Prompts formulierst, die sensible interne Informationen wie Quellcode-Ausschnitte, unveröffentlichte Produktstrategien, Kundendatenbank-Schemata oder interne Preislisten enthalten, und diese an externe LLM-Dienste sendest, besteht die Gefahr, dass diese Informationen ihren Schutzstatus verlieren.

Das Problem ist die potenzielle “öffentliche Verfügbarkeit” oder zumindest die Preisgabe an einen Dritten (den LLM-Anbieter) ohne ausreichende vertragliche Sicherung und Kontrolle. Besonders kritisch ist es, wenn der LLM-Anbieter sich das Recht vorbehält, die eingegebenen Daten für eigene Zwecke, wie das Training seiner Modelle, zu verwenden. In einem solchen Fall könnten Deine Geschäftsgeheimnisse in das Wissen des Modells einfließen und potenziell anderen Nutzern zugänglich gemacht werden, auch wenn dies nicht direkt beabsichtigt ist. Der Verlust des Geheimnisschutzes kann erhebliche wirtschaftliche Nachteile nach sich ziehen. Es ist daher unerlässlich, strenge interne Richtlinien (“Prompt Hygiene”) zu etablieren, NDAs mit Anbietern zu prüfen und technische Maßnahmen zu ergreifen, um die Offenlegung von Geschäftsgeheimnissen zu verhindern.

B. Urheber- und Markenrecht

Die Outputs von LLMs können urheberrechtliche und markenrechtliche Fragen aufwerfen. Es besteht das Risiko, dass ein KI-Agent Inhalte generiert, die bestehende Urheberrechte Dritter verletzen, indem er beispielsweise Textpassagen, Code-Snippets oder sogar Bilder reproduziert, die aus urheberrechtlich geschützten Trainingsdaten stammen. Die Frage, wer in einem solchen Fall für die Rechtsverletzung haftet, ist komplex: Bist Du als Nutzer des Agenten verantwortlich, der den Prompt eingegeben hat? Ist es der Anbieter des LLMs? Oder liegt eine gemeinsame Verantwortung vor? Die Rechtslage ist hier oft noch nicht abschließend geklärt und kann je nach Einzelfall variieren.

Ein weiteres Problemfeld ist das Training der LLMs selbst. Viele Modelle werden auf riesigen Datenmengen aus dem Internet trainiert, die zwangsläufig auch urheberrechtlich geschütztes Material enthalten. Ob dieses Training unter Ausnahmeregelungen wie Text und Data Mining fällt oder eine Lizenzierung erfordert, ist Gegenstand intensiver rechtlicher Diskussionen und Klagen weltweit. Als Nutzer eines solchen Modells könntest Du indirekt von Rechtsverstößen auf Trainingsebene betroffen sein. Zudem können LLM-Outputs auch Markenrechte verletzen, wenn sie beispielsweise Markennamen in irreführender Weise verwenden oder Logos generieren, die bestehenden Marken zum Verwechseln ähnlich sind.

C. Haftung für fehlerhafte Outputs (“Halluzinationen”)

Large Language Models sind bekannt dafür, gelegentlich falsche, irreführende oder unsinnige Informationen zu generieren – ein Phänomen, das oft als “Halluzination” bezeichnet wird. Wenn ein KI-Agent, der auf einem solchen LLM basiert, falsche Fakten als Tatsachen darstellt, Personen verleumdet, diskriminierende Aussagen trifft oder fehlerhafte Ratschläge gibt (z.B. in der Finanz- oder Gesundheitsberatung), können daraus erhebliche Schäden entstehen. Dies wirft die Frage nach der Haftung auf.

Mögliche Anspruchsgrundlagen können sich aus Deliktsrecht (§ 823 BGB) oder auch aus der DSGVO (Art. 82 DSGVO für immaterielle Schäden durch Datenschutzverstöße, die mit fehlerhaften Outputs einhergehen können) ergeben. Wer haftet für den Schaden, den ein “halluzinierender” KI-Agent verursacht? Der Entwickler des Agenten, der Betreiber, der Anbieter des zugrundeliegenden LLMs? Die Zuordnung der Verantwortung ist oft schwierig, da die Fehlerursache tief im komplexen System des LLMs liegen kann. Um Haftungsrisiken zu minimieren, sind Disclaimer, klare Kennzeichnungen von KI-generierten Inhalten und in kritischen Anwendungsfällen ein “Human-in-the-Loop”-Ansatz (menschliche Überprüfung) unerlässlich.

D. Verbraucherschutz und Wettbewerbsrecht (UWG)

Der Einsatz von KI-Agenten, insbesondere im Kundenkontakt, berührt auch Aspekte des Verbraucherschutz- und Wettbewerbsrechts. Nach dem Gesetz gegen den unlauteren Wettbewerb (UWG) können irreführende geschäftliche Handlungen unzulässig sein. Wenn Du beispielsweise KI-Agenten im Kundenservice einsetzt, ohne dies klar zu kennzeichnen, könnten sich Verbraucher getäuscht fühlen, wenn sie annehmen, mit einem Menschen zu interagieren. Eine transparente Kommunikation über den Einsatz von KI ist daher geboten.

Weiterhin können sich aus der zunehmenden Abhängigkeit von wenigen großen LLM-Anbietern (Hyperscalern) kartellrechtliche Fragen ergeben. Wenn der Zugang zu Schlüsseltechnologien oder die Preisgestaltung den Wettbewerb behindern, könnten Aufsichtsbehörden einschreiten. Für Dich als Nutzer ist es wichtig, die Vertragsbedingungen der Anbieter genau zu prüfen und Lock-in-Effekte zu vermeiden, soweit dies möglich ist. Unlautere Werbeaussagen über die Fähigkeiten Deiner KI-Agenten, die nicht der Realität entsprechen, können ebenfalls wettbewerbsrechtliche Konsequenzen nach sich ziehen.

IV. Aus der Praxis für die Praxis: Typische Fehler und Worst-Case-Szenarien

In der täglichen Arbeit mit Unternehmen, die LLMs und KI-Agenten einsetzen, sehen wir immer wieder ähnliche Schwachstellen und Versäumnisse. Eine ehrliche Gap-Analyse deckt oft folgende typische Lücken auf:

• Fehlender oder mangelhafter AVV/JCA: Oft wird einfach der Standardvertrag des US-Anbieters akzeptiert, ohne zu prüfen, ob dieser den DSGVO-Anforderungen genügt oder ob vielleicht sogar eine gemeinsame Verantwortlichkeit (Joint Controllership Agreement - JCA) nötig wäre.

• Formelles oder fehlendes TIA: Das Transfer Impact Assessment wird entweder gar nicht durchgeführt oder nur als reine Formsache betrachtet. Die spezifischen Risiken der US-Überwachungsgesetze werden ignoriert oder nicht ausreichend bewertet.

• Keine internen Richtlinien für Prompt-Inhalte (“Prompt Hygiene”): Es gibt keine klaren Vorgaben, welche Arten von Daten (insbesondere personenbezogene Daten oder Geschäftsgeheimnisse) in Prompts eingegeben werden dürfen.

• Entwickler nutzen Live-Daten in LLM-Playgrounds: Um schnell Prototypen zu bauen oder Funktionen zu testen, greifen Entwickler oft auf echte Kunden- oder Produktionsdaten zurück und speisen diese direkt in die Testumgebungen der LLM-Anbieter ein. Dies torpediert Betroffenenrechte und den Geheimnisschutz.

• Fehlendes Monitoring und Filtersysteme für Outputs: Die von den KI-Agenten generierten Antworten werden nicht systematisch überwacht. Es fehlen Filter, um potenziell urheberrechtlich geschützte Inhalte, Falschinformationen oder personenbezogene Daten in den Outputs zu erkennen und zu blockieren.

Diese Lücken entstehen oft aus einer Mischung aus Unwissenheit, Zeitdruck und dem Wunsch, schnell Ergebnisse zu erzielen. Sie können aber erhebliche rechtliche und finanzielle Konsequenzen nach sich ziehen.

V. Der lange Schatten des EU AI Acts

Der Versuch KI Anbieter und Betreiber zu regulieren wurde vom Markt postiv und negativ zu gleich aufgefasst. Ab August 2025 werden sich Anbieter und speziell Anbieter von **KI-Modellen mit allgemeinen Verwendungszweck mit systemischen Risiko” einer Auflage der EU unterwerfen müssen ODER den Usern in der EU verbieten die Modell zu verwenden.

Eine falsche Design-Entscheidung führt dann zwangsläufig zu einem Umbau oder man muss das Risiko selbst abfedern.

VI. Fazit: Mit Weitblick und den richtigen Werkzeugen die KI-Zukunft sicher gestalten

Der Einsatz von Large Language Models in KI-Agenten eröffnet faszinierende Möglichkeiten und kann Unternehmen jeder Größe einen enormen Schub verleihen. Doch diese technologische Revolution kommt mit einem Bündel an rechtlichen Herausforderungen, die nicht ignoriert werden dürfen. Die Kernrisiken liegen vor allem im Datenschutz (Drittlandtransfer, Rollenklärung, Betroffenenrechte), aber auch im Schutz von Geschäftsgeheimnissen, im Urheberrecht und in Haftungsfragen. Die drohenden Konsequenzen reichen von empfindlichen Bußgeldern über Reputationsschäden bis hin zum Verlust wertvollen Know-hows.

Die gute Nachricht ist: Du bist diesen Herausforderungen nicht schutzlos ausgeliefert. Durch eine Kombination aus sorgfältiger Vertragsgestaltung (AVVs, SCCs), belastbaren Transfer Impact Assessments (TIAs), strengen internen Richtlinien (“Prompt Hygiene”) und dem Einsatz intelligenter technischer Werkzeuge wie Prompt Scrubber und No-PII-Linting lässt sich das Risiko signifikant reduzieren. Die Einhaltung rechtlicher Vorgaben sollte nicht als lästige Pflicht, sondern als integraler Bestandteil jeder KI-Strategie und -Entwicklung verstanden werden. Es geht darum, Vertrauen zu schaffen und Innovation nachhaltig zu gestalten.

Bei Nanostudio.AI sind wir überzeugt, dass die Zukunft intelligenten KI-Agenten gehört. Wir wissen aber auch, dass diese Zukunft nur dann erfolgreich sein kann, wenn wir die Balance zwischen technologischem Fortschritt und rechtlicher Verantwortung meistern. Indem wir uns proaktiv mit den rechtlichen Rahmenbedingungen auseinandersetzen und unsere Nanos sowie deren Einsatzmöglichkeiten entsprechend gestalten, wollen wir unseren Nutzern helfen, das volle Potenzial dieser aufregenden Technologie sicher und erfolgreich zu erschließen. Es ist ein Weg, der Weitblick, kontinuierliches Lernen und die Bereitschaft erfordert, sich den Herausforderungen zu stellen – aber es ist ein Weg, der sich lohnt